Propuesta de arquitectura y circuitos para la mejora del rango dinámico de sistemas de visión en un chip diseñados en tecnologías CMOS profundamente submicrométrica

El trabajo presentado en esta tesis trata de proponer nuevas técnicas para la expansión del rango dinámico en sensores electrónicos de imagen. En este caso, hemos dirigido nuestros estudios hacia la posibilidad de proveer dicha funcionalidad en un solo chip. Esto es, sin necesitar ningún soporte externo de hardware o software, formando un tipo de sistema denominado Sistema de Visión en un Chip (VSoC). El rango dinámico de los sensores electrónicos de imagen se define como el cociente entre la máxima y la mínima iluminación medible. Para mejorar este factor surgen dos opciones. La primera, reducir la mínima luz medible mediante la disminución del ruido en el sensor de imagen. La segunda, incrementar la máxima luz medible mediante la extensión del límite de saturación del sensor. Cronológicamente, nuestra primera opción para mejorar el rango dinámico se basó en reducir el ruido. Varias opciones se pueden tomar para mejorar la figura de mérito de ruido del sistema: reducir el ruido usando una tecnología CIS o usar circuitos dedicados, tales como calibración o auto cero. Sin embargo, el uso de técnicas de circuitos implica limitaciones, las cuales sólo pueden ser resueltas mediante el uso de tecnologías no estándar que están especialmente diseñadas para este propósito. La tecnología CIS utilizada está dirigida a la mejora de la calidad y las posibilidades del proceso de fotosensado, tales como sensibilidad, ruido, permitir imagen a color, etcétera. Para estudiar las características de la tecnología en más detalle, se diseñó un chip de test, lo cual permite extraer las mejores opciones para futuros píxeles. No obstante, a pesar de un satisfactorio comportamiento general, las medidas referentes al rango dinámico indicaron que la mejora de este mediante sólo tecnología CIS es muy limitada. Es decir, la mejora de la corriente oscura del sensor no es suficiente para nuestro propósito. Para una mayor mejora del rango dinámico se deben incluir circuitos dentro del píxel. No obstante, las tecnologías CIS usualmente no permiten nada más que transistores NMOS al lado del fotosensor, lo cual implica una seria restricción en el circuito a usar. Como resultado, el diseño de un sensor de imagen con mejora del rango dinámico en tecnologías CIS fue desestimado en favor del uso de una tecnología estándar, la cual da más flexibilidad al diseño del píxel. En tecnologías estándar, es posible introducir una alta funcionalidad usando circuitos dentro del píxel, lo cual permite técnicas avanzadas para extender el límite de saturación de los sensores de imagen. Para este objetivo surgen dos opciones: adquisición lineal o compresiva. Si se realiza una adquisición lineal, se generarán una gran cantidad de datos por cada píxel. Como ejemplo, si el rango dinámico de la escena es de 120dB al menos se necesitarían 20-bits/píxel, log2(10120/20)=19.93, para la representación binaria de este rango dinámico. Esto necesitaría de amplios recursos para procesar esta gran cantidad de datos, y un gran ancho de banda para moverlos al circuito de procesamiento. Para evitar estos problemas, los sensores de imagen de alto rango dinámico usualmente optan por utilizar una adquisición compresiva de la luz. Por lo tanto, esto implica dos tareas a realizar: la captura y la compresión de la imagen. La captura de la imagen se realiza a nivel de píxel, en el dispositivo fotosensor, mientras que la compresión de la imagen puede ser realizada a nivel de píxel, de sistema, o mediante postprocesado externo. Usando el postprocesado, existe un campo de investigación que estudia la compresión de escenas de alto rango dinámico mientras se mantienen los detalles, produciendo un resultado apropiado para la percepción humana en monitores convencionales de bajo rango dinámico. Esto se denomina Mapeo de Tonos (Tone Mapping) y usualmente emplea solo 8-bits/píxel para las representaciones de imágenes, ya que éste es el estándar para las imágenes de bajo rango dinámico. Los píxeles de adquisición compresiva, por su parte, realizan una compresión que no es dependiente de la escena de alto rango dinámico a capturar, lo cual implica una baja compresión o pérdida de detalles y contraste. Para evitar estas desventajas, en este trabajo, se presenta un píxel de adquisición compresiva que aplica una técnica de mapeo de tonos que permite la captura de imágenes ya comprimidas de una forma optimizada para mantener los detalles y el contraste, produciendo una cantidad muy reducida de datos. Las técnicas de mapeo de tonos ejecutan normalmente postprocesamiento mediante software en un ordenador sobre imágenes capturadas sin compresión, las cuales contienen una gran cantidad de datos. Estas técnicas han pertenecido tradicionalmente al campo de los gráficos por ordenador debido a la gran cantidad de esfuerzo computacional que requieren. Sin embargo, hemos desarrollado un nuevo algoritmo de mapeo de tonos especialmente adaptado para aprovechar los circuitos dentro del píxel y que requiere un reducido esfuerzo de computación fuera de la matriz de píxeles, lo cual permite el desarrollo de un sistema de visión en un solo chip. El nuevo algoritmo de mapeo de tonos, el cual es un concepto matemático que puede ser simulado mediante software, se ha implementado también en un chip. Sin embargo, para esta implementación hardware en un chip son necesarias algunas adaptaciones y técnicas avanzadas de diseño, que constituyen en sí mismas otra de las contribuciones de este trabajo. Más aún, debido a la nueva funcionalidad, se han desarrollado modificaciones de los típicos métodos a usar para la caracterización y captura de imágenes

Pixel design and evaluation in CMOS image sensor technology

A chip designed in a 0.18 μm CMOS Image Sensor Technology (CIS) is presented which incorporates different pixel design alternatives for Active Pixel Sensor (APS). CIS technology improves characteristics such as sensitivity, dark current and noise, that are strongly layout dependent. This chip includes a set of pixel architectures where different parameters have been modified: layout of active diffusion, threshold voltage of the source follower transistor and the use of microlenses. Besides, structures to study the influence of crosstalk between pixels have been incorporated

Live demonstration: Real-time high dynamic range video acquisition using in-pixel adaptive content-aware tone mapping compression

This demonstration targets the acquisition of realtime video sequences involving High Dynamic Range (HDR) scenes. Adaptation to different illumination conditions while preserving contrast is achieved by using a sensor chip, which implements an adaptive content-aware tone mapping compression algorithm by using in-pixel circuitry. Its response gets adapted to changing illumination conditions by using at each frame a statistical estimation of the light distribution, which is derived from the HDR histogram calculated at the previous frame. This method allows adaptive HDR video, while capable to capture very large DR scenes including moving objects.Office of Naval Research (USA) N000141410355Ministerio de Economía y Competitividad IPT-2011-1625-430000Junta de Andalucía TIC 2338-201

Control and acquisition system for a high dynamic range CMOS image sensor

A control and acquisition system for the visualization of the images captured with a High Dynamic Range (HDR) CMOS Image Sensor is developed. The image sensor is inserted in a PCB system, which performs low level control, in communication with a PC software, which performs high level control and images visualization. In order to make it user-friendly, we have opted to use object-oriented method to implement the computer software. The system has an attractive interface, and it is easy to operate. It also includes additional functionalities, such as the increment of the frame rate, enhancement of human perception of details contained in the depicted scene and the possibility to display statistical data for illustrating the behavior of the chip.Office of Naval Research (USA) N000141110312Gobierno de España TEC2009-11812, IPT-2011-1625-43000

A 148dB focal-plane tone-mapping QCIF imager

http://digital.csic.es/handle/10261/84304This paper presents a QCIF HDR imager where visual information is simultaneously captured and adaptively compressed by an in-pixel tone-mapping scheme [1]. The tone mapping curve (TMC) is calculated from the histogram of an auxiliary previous image, which serves as a probability indicator of the distribution of illuminations within the current frame. The chip maps 148dB scenes onto 7-bit/pixel coding, containing illuminations from 2.2mlux (SNR10) to 55.33klux -with extreme values captured at 8s and 2.34µs, respectively. Pixels use an Nwell-Psubstrate photodiode and autozeroing for establishing the reset voltage. Measured sensitivity is 5.79 V over lux·s. Dark current effects in the final image are attenuated by an automatic programming of the DAC levels. The chip has been fabricated in the 0.35µm OPTO technology from AMS

A QCIF 145dB imager for focal plane processor chips using a tone mapping technique in standard 0.35μm CMOS technology

This paper presents a QCIF HDR imager where visual information is simultaneously captured and adaptively compressed by means of an in-pixel tone mapping scheme [1]. The tone mapping curve (TMC) is calculated from a nonlinear histogram of the previous image, which serves as a probability indicator of the distribution of illuminations within the present frame. The chip produces 7-bit/pixel images that can map illuminations from 311 10-6lux to 5875 lux in a single frame in a way that each pixel decides when to stop observing photocurrent integration –with extreme values captured at 8s and 20 s respectively. Pixels use a 3x3 m2 Nwell-Psubstrate photodiode and an autozeroing technique for establishing the reset voltage, which cancels most of the o set contributions created by the analog processing circuitry. Measured sensitivity is 5.79 V lux s . Dark current e ects in the final image are attenuated by an automatic programming of the DAC top voltage. The chip has been designed in the 0.35 m OPTO technology from AMS.FEDER TEC2009-1181

High-dynamic range tone-mapping algorithm for focal plane processors

This paper presents a Dynamic Range improvement technique which is specially well-suited to be implemented in Focal Plane Processors (FPP) due to its very limited computing requirements since only local memories, little digital control and a comparator are required at the pixel level. The presented algorithm employs measurements during exposure time to create a 4-bit non-linear image whose histogram determines the shape of the tone-mapping curve which is applied to create the final image. Simulations results over a highly bimodal 120dB image are presented showing that both the highly and poorly illuminated parts of the image keep a sufficient level of details.Ministerio de Ciencia e Innovación TEC2009-11812Junta de Andalucía 2006-TIC-235

Locust-inspired vision system on chip architecture for collision detection in automotive applications

This paper describes a programmable digital computing architecture dedicated to process information in accordance to the organization and operating principles of the four-layer neuron structure encountered at the visual system of Locusts. This architecture takes advantage of the natural collision detection skills of locusts and is capable of processing images and ascertaining collision threats in real-time automotive scenarios. In addition to the Locust features, the architecture embeds a Topological Feature Estimator module to identify and classify objects in collision course.European Commission IST2001 - 38097Ministerio de Ciencia y Tecnología TIC2003 - 09817- C02 - 0

Form Factor Improvement of Smart-Pixels for Vision Sensors through 3-D Vertically- Integrated Technologies

While conventional CMOS active pixel sensors embed only the circuitry required for photo-detection, pixel addressing and voltage buffering, smart pixels incorporate also circuitry for data processing, data storage and control of data interchange. This additional circuitry enables data processing be realized concurrently with the acquisition of images which is instrumental to reduce the number of data needed to carry to information contained into images. This way, more efficient vision systems can be built at the cost of larger pixel pitch. Vertically-integrated 3D technologies enable to keep the advnatges of smart pixels while improving the form factor of smart pixels.Office of Naval Research N000141110312Ministerio de Ciencia e Innovación IPT-2011-1625-43000

The global abundance of tree palms

Aim Palms are an iconic, diverse and often abundant component of tropical ecosystems that provide many ecosystem services. Being monocots, tree palms are evolutionarily, morphologically and physiologically distinct from other trees, and these differences have important consequences for ecosystem services (e.g., carbon sequestration and storage) and in terms of responses to climate change. We quantified global patterns of tree palm relative abundance to help improve understanding of tropical forests and reduce uncertainty about these ecosystems under climate change. Location Tropical and subtropical moist forests. Time period Current. Major taxa studied Palms (Arecaceae). Methods We assembled a pantropical dataset of 2,548 forest plots (covering 1,191 ha) and quantified tree palm (i.e., ≥10 cm diameter at breast height) abundance relative to co‐occurring non‐palm trees. We compared the relative abundance of tree palms across biogeographical realms and tested for associations with palaeoclimate stability, current climate, edaphic conditions and metrics of forest structure. Results On average, the relative abundance of tree palms was more than five times larger between Neotropical locations and other biogeographical realms. Tree palms were absent in most locations outside the Neotropics but present in >80% of Neotropical locations. The relative abundance of tree palms was more strongly associated with local conditions (e.g., higher mean annual precipitation, lower soil fertility, shallower water table and lower plot mean wood density) than metrics of long‐term climate stability. Life‐form diversity also influenced the patterns; palm assemblages outside the Neotropics comprise many non‐tree (e.g., climbing) palms. Finally, we show that tree palms can influence estimates of above‐ground biomass, but the magnitude and direction of the effect require additional work. Conclusions Tree palms are not only quintessentially tropical, but they are also overwhelmingly Neotropical. Future work to understand the contributions of tree palms to biomass estimates and carbon cycling will be particularly crucial in Neotropical forests